FC-25A型3D工業(yè)視覺檢測(cè)實(shí)訓(xùn)平臺(tái)

一、面向?qū)I(yè)和課程

面向?qū)I(yè)：人工智能、電子、自動(dòng)化、機(jī)電等專業(yè)

適用課程和知識(shí)點(diǎn)：數(shù)字圖像處理、機(jī)器視覺、3D視覺、基于視覺的機(jī)器人應(yīng)用

二、產(chǎn)品概述

3D工業(yè)視覺檢測(cè)實(shí)訓(xùn)平臺(tái)主要由3D智能相機(jī)、2D工業(yè)相機(jī)和協(xié)作機(jī)器人組成，搭配多種行業(yè)應(yīng)用的真實(shí)工件和虛擬仿真應(yīng)用場(chǎng)景，融合了3D視覺系統(tǒng)調(diào)試應(yīng)用開發(fā)、2D視覺系統(tǒng)應(yīng)用技術(shù)、圖形化視覺處理技術(shù)、機(jī)器人離線編程與調(diào)試技術(shù)、深度學(xué)習(xí)等實(shí)訓(xùn)功能。實(shí)訓(xùn)平臺(tái)提供配套完善的實(shí)訓(xùn)教材與培訓(xùn)視頻，能滿足視覺算法、軟件、機(jī)械、電氣以及機(jī)器人相關(guān)專業(yè)的教學(xué)，開展從機(jī)器人基礎(chǔ)示教、離線編程，到復(fù)雜視覺應(yīng)用開發(fā)等知識(shí)點(diǎn)的實(shí)驗(yàn)實(shí)訓(xùn)。

三、產(chǎn)品簡(jiǎn)要介紹如下：

1.滿足數(shù)字圖像處理、機(jī)器視覺、3D視覺、基于視覺的機(jī)器人應(yīng)用等課程或知識(shí)點(diǎn)的教學(xué)；

2.標(biāo)配AUBOi5機(jī)器人，并可兼容ABB、KUKA、FUNAC、YASKAWA、UR、AUBO、JAKA等多種機(jī)器人，可在學(xué)院現(xiàn)有機(jī)器人基礎(chǔ)上進(jìn)行升級(jí)改造；

3.3D智能相機(jī)可處理各類工件以及紙箱、麻袋、貨品等典型物體，支持隨意堆疊、無(wú)序放置、反光、暗色等復(fù)雜工況；

4.2D視覺軟件包括缺陷檢測(cè)、分類、實(shí)例分割等功能，可對(duì)物體快速進(jìn)行識(shí)別、定位、缺陷檢測(cè)等功能的開發(fā)；

5.機(jī)器人編程軟件采用完全圖形化的智能編程環(huán)境，支持?jǐn)?shù)字孿生，且內(nèi)置軌跡規(guī)劃、碰撞檢測(cè)、混碼等智能算法；

6.配套提供多種來(lái)自于真實(shí)工業(yè)現(xiàn)場(chǎng)的案例和實(shí)訓(xùn)套件，可采用項(xiàng)目引導(dǎo)式的方式開展教學(xué)，真正提升學(xué)生解決實(shí)際問(wèn)題的能力。

四、產(chǎn)品功能和特點(diǎn)

1.圖形化編程環(huán)境

完全圖形化的視覺軟件，無(wú)需編寫代碼即可完成拆垛、無(wú)序工件上料等視覺應(yīng)用，且內(nèi)置3D視覺、深度學(xué)習(xí)等前沿算法模塊，可滿足復(fù)雜多樣的應(yīng)用需求。

2.提供深度學(xué)習(xí)自主訓(xùn)練工具

將深度學(xué)習(xí)模型訓(xùn)練的數(shù)據(jù)采集、篩選、導(dǎo)入、標(biāo)注、模型訓(xùn)練、驗(yàn)證及部署應(yīng)用的過(guò)程進(jìn)行全流程整合，方便自主操作，提升訓(xùn)練效率，并全程保證數(shù)據(jù)安全性。

3.3D點(diǎn)云生成與分析

精度高，可對(duì)眾多類型的物體產(chǎn)生完整、細(xì)致、精確、顏色準(zhǔn)確的點(diǎn)云數(shù)據(jù)，且支持3D通用處理算法、3D特征處理、3D模型的創(chuàng)建和匹配等多種功能。

4.基于3D/2D視覺的機(jī)器人應(yīng)用

提供機(jī)器人智能編程環(huán)境，采用可視化、無(wú)代碼的編程界面，支持一鍵仿真。軟件內(nèi)置機(jī)器人軌跡規(guī)劃、碰撞檢測(cè)、抓取規(guī)劃等智能算法，可快速實(shí)現(xiàn)機(jī)器人在3D/2D視覺系統(tǒng)引導(dǎo)下進(jìn)行機(jī)械臂位姿的調(diào)整，姿態(tài)控制，并完成物體的抓取、分類、拆碼垛等功能。

五、主要硬件參數(shù)

1.運(yùn)算單元

采用工業(yè)級(jí)結(jié)構(gòu)，體積小巧，外形緊湊，安裝windows10系統(tǒng)，集成C++、OpenCV等運(yùn)行環(huán)境，支持?jǐn)?shù)字圖像處理、2D視覺、3D視覺、機(jī)器人等硬件或應(yīng)用的開發(fā)和學(xué)習(xí)。

主要技術(shù)參數(shù)和特點(diǎn)如下：

（1）處理器：酷睿i7；內(nèi)存：16G工控內(nèi)存；硬盤：256G固態(tài)硬盤+1T機(jī)械硬盤；顯存：4G；網(wǎng)口：4個(gè)千兆網(wǎng)口;

（2）支持圖形化交互界面，采用拖拽式操作快速搭建視覺方案，滿足機(jī)器視覺應(yīng)用領(lǐng)域中定位、測(cè)量、識(shí)別、檢測(cè)等需求。

2.3D視覺系統(tǒng)

采用Mech-Eye工業(yè)級(jí)3D相機(jī)，該相機(jī)基于先進(jìn)的視覺算法，可處理各類工件以及紙箱、麻袋、貨品等典型物體，輕松應(yīng)對(duì)隨意堆疊、無(wú)序放置、一定程度反光、暗色等復(fù)雜工況。

3D視覺系統(tǒng)主要技術(shù)參數(shù)如下：

（1）分辨率：1920×1200；工作距離范圍：500-1000mm；近端視場(chǎng)：物距為0.5m時(shí)，370×240mm；遠(yuǎn)端視場(chǎng)：物距為1m時(shí)，800×450mm；

（2）提供多語(yǔ)言、多平臺(tái)的SDK選擇，接口開放，部署簡(jiǎn)單；

（3）可選擇搭配Mech-Vision、Mech-Viz使用，輕松、快速部署各類檢測(cè)/量測(cè)應(yīng)用。

3.2D視覺系統(tǒng)

機(jī)器視覺系統(tǒng)即一套標(biāo)準(zhǔn)工業(yè)級(jí)視覺系統(tǒng)，包括工業(yè)相機(jī)、鏡頭、LED光源、光源控制器等，通過(guò)視覺支架進(jìn)行集成，為所有的靜態(tài)目標(biāo)檢測(cè)、分析和處理提供實(shí)驗(yàn)的硬件環(huán)境。

視覺系統(tǒng)結(jié)構(gòu)如下：

2D視覺系統(tǒng)主要技術(shù)參數(shù)如下：

序號(hào)	技術(shù)參數(shù)
1	（1）600萬(wàn)像素 1/1.8” CMOS 千兆以太網(wǎng)工業(yè)面陣相機(jī)； （2）分辨率：3072×2048； （3）幀率：17 fps； （4）動(dòng)態(tài)范圍：71.3dB； （5）增益：0dB～20dB； （6）曝光時(shí)間：27μs～2.5sec； （7）黑白/彩色：彩色； （8）接口：GiGE。
2	（1）固定焦距、手動(dòng)光圈、六百萬(wàn)像素、FA鏡頭； （2）焦距：12mm； （3）F數(shù)：F2.8～F16； （4）接口類型：C-Mount； （5）視場(chǎng)角：1/1.8”。
3	（1）LED類型：貼片LED； （2）顏色：白色； （3）色溫：6600K； （4）功率：14.4W； （5）輸入電壓：DC 24V max.； （6）外殼材質(zhì)：鋁合金（表面氧化發(fā)黑處理）；（7）使用溫度和濕度：溫度：0～40oC，濕度：20～85%RH(非凝結(jié))； （8）配套光源控制器。

4.協(xié)作機(jī)器人

采用遨博i5協(xié)作機(jī)器人，該型機(jī)器人專注末端負(fù)載為5kg以下的3C領(lǐng)域自動(dòng)化作業(yè)，可應(yīng)用于3C、金屬加工、食品、醫(yī)藥、科研培訓(xùn)、物流等行業(yè),實(shí)現(xiàn)上下料、裝配、鎖螺絲、噴涂、打磨、焊接等應(yīng)用。

協(xié)作機(jī)器人主要技術(shù)參數(shù)如下：

序號(hào)	類別	技術(shù)參數(shù)
1	機(jī)械臂	(1)自由度：6 (2)臂展：1053.5mm (3)負(fù)載：5kg (4)重量：24kg (5)額定壽命：30000h (6)協(xié)同操作：根據(jù)ISO10218-1:2011進(jìn)行協(xié)同操作，具備“安全適用的受監(jiān)控停止”、“拖動(dòng)示教”以及“功率與力限制”等協(xié)作機(jī)器人安全功能 (7)定位精度：±0.02mm (8)末端速度：≤2.8m/s (9)功耗：200W (10)材料：鋁合金 (11)防護(hù)等級(jí)：IP54 (12)供電電源：48V
2	運(yùn)動(dòng)特性	(1)1軸：+175°~-175°，最大速度150°/s； (2)2軸：+175°~-175°，最大速度150°/s； (3)3軸：+175°~-175°，最大速度150°/s； (4)4軸：+175°~-175°，最大速度180°/s； (5)5軸：+175°~-175°，最大速度180°/s； (6)6軸：+175°~-175°，最大速度180°/s。

六、軟件平臺(tái)介紹

1.3D視覺軟件平臺(tái)

3D機(jī)器視覺軟件采用梅卡曼德的Mech DLK平臺(tái)，該平臺(tái)為完全圖形化的視覺軟件，無(wú)需編寫代碼即可完成拆垛、無(wú)序工件上料等視覺應(yīng)用。內(nèi)置3D視覺、深度學(xué)習(xí)等前沿算法模塊，可滿足復(fù)雜多樣的應(yīng)用需求。

2.2D視覺軟件平臺(tái)

2D機(jī)器視覺軟件采用海康威視Vision Master視覺軟件，圖形化交互界面，功能圖標(biāo)直觀易懂，采用拖拽式操作，可快速搭建視覺方案，模塊運(yùn)行狀態(tài)獨(dú)立標(biāo)識(shí)，實(shí)時(shí)顯示。

主要技術(shù)參數(shù)和特點(diǎn)如下：

（1）包含近千個(gè)圖像處理算子和多種交互式開發(fā)工具，包含130+個(gè)模塊工具，支持多種操作系統(tǒng)和圖像采集硬件設(shè)備；

（2）用戶可以根據(jù)需求創(chuàng)建視覺方案，還可以自定義運(yùn)行界面，滿足個(gè)性化需求；

（3）兼容GigE Vision和USB3 Vision協(xié)議標(biāo)準(zhǔn)，可以接入多種品牌的相機(jī)，支持本地圖像處理和相機(jī)數(shù)據(jù)圖像處理；

（4）二次開發(fā)簡(jiǎn)單易上手，通過(guò)簡(jiǎn)化后的接口可以節(jié)省90%的代碼量，新增的控件可一鍵導(dǎo)入Visual Studio中，可嵌QT，MFC，WPF和WinForm的界面開發(fā)中；

（5）支持用戶自定義模塊開發(fā)，用戶可將自定義算法封裝為VM模塊后直接拖拽使用；

（6）支持TCP/IP，ModBus，串口，UDP，Ethernet/IP等常見工業(yè)通信協(xié)議，能兼容主流PLC型號(hào)的通訊。

七、實(shí)驗(yàn)項(xiàng)目

平臺(tái)配備10多個(gè)實(shí)訓(xùn)項(xiàng)目的軟硬件資源，包括工程、實(shí)訓(xùn)操作文檔和培訓(xùn)視頻等。

其中紙箱拆碼垛、電機(jī)轉(zhuǎn)子上料、鋼筋打標(biāo)計(jì)數(shù)等應(yīng)用場(chǎng)景的簡(jiǎn)要情況如下：

1.紙箱拆碼垛

該項(xiàng)目模擬實(shí)際工業(yè)場(chǎng)景的紙箱拆碼垛。

2.電機(jī)轉(zhuǎn)子上料

該項(xiàng)目模擬實(shí)際工業(yè)場(chǎng)景的電機(jī)轉(zhuǎn)子上料。

3.鋼筋打標(biāo)計(jì)數(shù)

該項(xiàng)目模擬實(shí)際工業(yè)場(chǎng)景的鋼筋打標(biāo)計(jì)數(shù)。

八、實(shí)驗(yàn)課程

平臺(tái)可支撐和構(gòu)建的課程，涵蓋《3D視覺實(shí)操與應(yīng)用技巧》、《AI+機(jī)器視覺典型應(yīng)用案例實(shí)踐》等。

1.《3D視覺實(shí)操與應(yīng)用技巧》實(shí)訓(xùn)任務(wù)清單

序號(hào)	類別	課程資源
1	安裝3D視覺系統(tǒng)	（1）機(jī)械安裝 （2）線纜安裝 （3）軟件安裝
2	采集3D相機(jī)的圖像數(shù)據(jù)	（1）連接相機(jī) （2）配置相機(jī)參數(shù) （3）保存數(shù)據(jù)
3	圖像標(biāo)注和深度學(xué)習(xí)模型訓(xùn)練	（1）新建DLK工程 （2）算法模塊介紹 （3）導(dǎo)入圖像數(shù)據(jù) （4）數(shù)據(jù)集介紹 （5）圖像標(biāo)注和模型訓(xùn)練 （6）模型驗(yàn)證和模型應(yīng)用
4	視覺主控?zé)?/span>	（1）主控?zé)洔?zhǔn)備 （2）主控?zé)洸僮?/span> （3）主控移動(dòng)控制機(jī)器人
5	相機(jī)外參標(biāo)定	（1）相機(jī)外參標(biāo)定概述 （2）標(biāo)定前準(zhǔn)備 （3）采用多個(gè)隨機(jī)標(biāo)定板位姿方式的ETH標(biāo)定 （4）采用多個(gè)隨機(jī)標(biāo)定板位姿方式的EIH標(biāo)定 （5）采用TCP尖點(diǎn)觸碰方式的ETH標(biāo)定 （6）采用TCP尖點(diǎn)觸碰方式的EIH標(biāo)定
6	制作點(diǎn)云模板和添加抓取點(diǎn)	（1）點(diǎn)云模板和抓取點(diǎn)概述 （2）生成點(diǎn)云模板 （3）編輯點(diǎn)云模板 （4）添加抓取點(diǎn) （5）保存點(diǎn)云模板和抓取點(diǎn)
7	搭建視覺工程	（1）Mech-Vision軟件的基本操作 （2）常用步驟介紹 （3）步驟組合介紹 （4）工程實(shí)戰(zhàn)—電機(jī)轉(zhuǎn)子上料的Mech-Vision工程搭建
8	搭建機(jī)器人工程	（1）Mech-Viz軟件的基本操作 （2）常用任務(wù)介紹 （3）工程實(shí)戰(zhàn)—電機(jī)轉(zhuǎn)子上料的Mech-Viz工程搭建
9	3D視覺進(jìn)階功能	（1）查看3D視覺軟件版本 （2）Mech-Vision典型應(yīng)用工程介紹 （3）Mech-Vision示例工程介紹 （4）相機(jī)主控其它品牌機(jī)器人通訊 （5）認(rèn)識(shí)標(biāo)準(zhǔn)接口 （6）3D視覺隨機(jī)手冊(cè)查閱

2.《AI+機(jī)器視覺典型應(yīng)用案例實(shí)踐》實(shí)訓(xùn)任務(wù)清單

序號(hào)	類別	課程資源
1	學(xué)前準(zhǔn)備	（1）項(xiàng)目式教學(xué)概述 （2）3D視覺典型應(yīng)用工作站概述 （3）學(xué)習(xí)資源概述 （4）典型應(yīng)用工作站的使用注意事項(xiàng)
2	2D視覺典型應(yīng)用—零部件缺陷檢測(cè)	（1）零部件缺陷檢測(cè)工作站的功能需求 （2）零部件缺陷檢測(cè)工作站的系統(tǒng)實(shí)現(xiàn)流程 （3）零部件缺陷檢測(cè)工作站的DLK工程實(shí)現(xiàn) （4）零部件缺陷檢測(cè)工作站的視覺工程實(shí)現(xiàn)
3	2D視覺典型應(yīng)用—零部件尺寸測(cè)量	（1）零部件尺寸測(cè)量工作站的功能需求 （2）零部件尺寸測(cè)量工作站的系統(tǒng)實(shí)現(xiàn)流程 （3）零部件尺寸測(cè)量工作站的視覺工程實(shí)現(xiàn)
4	3D視覺典型應(yīng)用—紙箱拆碼垛	（1）紙箱拆碼垛工作站的功能需求 （2）紙箱拆碼垛工作站的系統(tǒng)實(shí)現(xiàn)流程 （3）紙箱拆碼垛工作站的視覺功能實(shí)現(xiàn) （4）紙箱拆碼垛工作站的運(yùn)動(dòng)規(guī)劃功能實(shí)現(xiàn) （5）紙箱拆碼垛工作站的使用注意事項(xiàng)
5	3D視覺典型應(yīng)用—金屬上下料	（1）金屬上下料工作站的功能需求 （2）金屬上下料工作站的系統(tǒng)實(shí)現(xiàn)流程 （3）金屬上下料工作站的視覺功能實(shí)現(xiàn) （4）金屬上下料工作站的運(yùn)動(dòng)規(guī)劃功能實(shí)現(xiàn) （5）金屬上下料工作站的使用注意事項(xiàng)
6	3D視覺典型應(yīng)用—鋼筋打標(biāo)計(jì)數(shù)	（1）鋼筋打標(biāo)計(jì)數(shù)工作站的功能需求 （2）鋼筋打標(biāo)計(jì)數(shù)工作站的系統(tǒng)實(shí)現(xiàn)流程 （3）鋼筋打標(biāo)計(jì)數(shù)工作站的視覺功能實(shí)現(xiàn) （4）鋼筋打標(biāo)計(jì)數(shù)工作站的運(yùn)動(dòng)規(guī)劃功能實(shí)現(xiàn) （5）鋼筋打標(biāo)計(jì)數(shù)工作站的使用注意事項(xiàng)
7	3D視覺典型應(yīng)用—商超分揀	（1）商超分揀工作站的功能需求 （2）商超分揀工作站的系統(tǒng)實(shí)現(xiàn)流程 （3）商超分揀工作站的視覺功能實(shí)現(xiàn) （4）商超分揀工作站的運(yùn)動(dòng)規(guī)劃功能實(shí)現(xiàn) （5）商超分揀工作站的使用注意事項(xiàng)
8	3D視覺典型應(yīng)用—鋼板開坡口	（1）鋼板開坡口工作站的功能需求 （2）鋼板開坡口工作站的系統(tǒng)實(shí)現(xiàn)流程 （3）鋼板開坡口工作站的視覺功能實(shí)現(xiàn) （4）鋼板開坡口工作站的運(yùn)動(dòng)規(guī)劃功能實(shí)現(xiàn) （5）鋼板開坡口工作站的使用注意事項(xiàng)